MVN(Multivariate Distribution Normal Distribution)

Independent한 MultiVariate Distribution에 대해서, $P (x) = P (x_{1} ⋮ x_{d}) = P (x_{1}, \dots, x_{d}) = \prod_{i = 1}^{d} P (x_{i})$ 이 성립한다.

이는 곧, MVN에도 성립함을 의미한다.

P (x) = \frac{1}{( 2 π ) ^{d /2} ∣Σ ∣ ^{1/2}} exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ)) \equiv N (x; μ, Σ)

: 이 때 $d$ 는, $d$ 차원의 MultiVariate varaible임을 의미한다.

$det (Σ) = λ_{1} \times λ_{2} \times \dots \times λ_{n}$ 처럼, 고유값들의 곱으로 표현될 수 있는데, 이는 곧 데이터의 Variance( $σ_{i}^{2}$ )를 나타낸다.
$(x - μ)^{⊤} Σ^{- 1} (x - μ)$ 는 Mahalonobis distance로, 데이터가 상관된 방향으로는 거리를 적게, Variance이 적은 방향으로는 더 큰 거리로 평가한다.
- 이는, 데이터 분포의 형태에 따라 거리를 계산하는 방식으로 볼 수 있다.
- Gaussian Distribution에 따라서, Variance 작을 수록 거리를 크게 계산하여 분포의 축에 따른 Variance가 다르면, 그에 따라 확률 분포가 적절히 변하게 한다.
- 만일 $Σ$ 가 $I_{n}$ 이라고 한다면(상관 관계가 없고, 모든 차원의 Variance가 같다면), 이는 곧 Euclidean distance와 동일해진다.